#asynchronous RL

2 篇

Learning to Solve Hard Problems in RL for LLMs by Never Giving Up

在LLM强化学习中通过永不放弃采样解决难题

🧭 RL for LLMs 动态采样训练优化 ★ 深度解读

Mila, Université de Montréal · Allen Institute for AI · University of Washington · Trillium Labs

揭示RL训练LLM的“马太效应”，提出NGU动态采样将计算从易题重分配到难题，显著提升困难任务pass@1

📌 工作参考价值（4 点）

在 RLHF/GRPO 训练推荐、对话或 Agent 策略时，若 prompt/任务难度差异大，可借鉴 NGU：用异步 RL 对简单 prompt 快速过滤，对困难 prompt 持续采样直到出现正样本；但需设置继续采样概率 p 并限制历史 completion 的 age，避免 off-policy 噪声。
对于需要同时满足多个约束的电商导购 Agent 或广告文案生成，标准 per-aspect reward 会导致模型只优化容易满足的约束。可先按模型初期 pass rate 重分难度，再对难样本动态加采样，提升所有约束全部通过率。
工程上，NGU 的 anchor positives 比直接 downsampling 稳定：保留所有正样本，对负样本按比例 rescale advantage 保持组内优势之和为零；推荐优先使用。
离线评估要按难度分桶（如按用户分群、query 难度）分别报告提升，避免整体指标掩盖马太效应；同样适用于推荐系统的长尾 item/query 优化。

Training | 2026-09-10 | HF Daily | score 8/10

陈旧但稳定：面向异步强化学习的陈旧自适应信任域

🧭 异步 RL 训练稳定性优化

Tencent Hy LLM Frontier · National University of Singapore · University of Maryland, College Park · University of Georgia · Indiana University

用 detached log-ratio 作为陈旧度代理，自适应收缩 PPO 区间端点，稳定异步 RL 训练

📌 工作参考价值（4 点）

在电商/广告推荐系统的在线异步 RL 训练（如 PPO 策略梯度）中，可直接复用 detached log-ratio 作为 staleness 代理，无需额外模型即可量化策略与行为策略的偏差，据此识别高风险更新样本。
采用仅收缩 sign-selected 端点的区间约束，在保留大部分 token 原有 PPO 行为的同时，仅对高陈旧度导致的异常外向更新进行保守截断，实现细粒度稳定控制。
针对推荐模型可能采用的 MoE 架构，路由重放（routing replay）技巧可缓解异步陈旧带来的路由不一致问题，与裁剪配合形成互补稳定器，适合大规模稀疏激活的推荐模型训练。
工程上，该方法在 SGLang 多推理引擎 + Megatron 异步训练框架下验证有效，可直接迁移到类似解耦架构的推荐 Agent 在线学习系统中，提升训练吞吐下的策略稳定性。

Training | 2026-07-20 | HF Daily | score 6/10